Trường được thành lập ngày 12 tháng 4 năm 1956 dưới thời Đệ Nhất Cộng hòa tọa lạc ở số 112 đường Nguyễn Du, Quận 1, Sài Gòn. Trong số những người sáng lập có nhạc sĩ Hùng Lân.[1] Mục đích của Trường là giảng dạy những bộ môn âm nhạc truyền thống Việt Nam như trình tấu nhạc cụ dân tộc Việt Nam. Giáo trình cũng được bổ túc để bao gồm các bộ môn âm nhạc cổ điển Tây phương và nhạc pháp dưới sự vận động của giám đốc Nguyễn Phụng.[2] Khi khai giảng lần đầu Trường có 150 sinh viên ghi danh dưới tên Trường Quốc gia Âm nhạc.

Năm 1960 trường mới chính thức đổi tên thành Trường Quốc gia Âm nhạc và Kịch nghệ sau khi mở thêm phân khoa kịch nghệ tăng cường thêm các bộ môn cải lương, hát bội, và thoại kịch.[3]

Đến năm 1982, trường được đổi tên thành Nhạc viện Thành phố Hồ Chí Minh và mang tên này đến ngày nay.